بهبود کارایی روش های دسترسی به محیط در شبکه های رادیو هوشمند با استفاده از الگوریتم یادگیری تقویتی

رادیو هوشمند یا رادیو شناختی، روشی نوین به منظور بهبود بکارگیری یک منبع طبیعی بسیار ارزشمند، با نام طیف فرکانسی است. این روش بر اساس یادگیری محیط، می تواند درکی از محیط اطراف داشته باشد. یکی از مهمترین اهداف رادیو شناختی، قابلیت دسترسی به طیف است. از آنجایی که این مساله نوعی استدلال و یادگیری است، می توان برای هوشمند سازی آن از الگوریتم های یادگیری استفاده کرد. در این پایان نامه، به دنبال دو هدف اصلی هستیم: 1) تخمین احتمال در دسترس بودن کانال های موجود کاربر اولیه و 2) کنترل دسترسی کاربران ثانویه برای کاهش میزان تداخل بین آن ها. به این منظور دو سناریوی تک کاربره و چندکاربره را دنبال می کنیم. در سناریوی اول، تنها یک کاربر ثانویه در محیط موجود است. برای حل مساله ی انتخاب کانال در این سناریو، از آتاماتای یادگیر استفاده و به بحث و بررسی رفتار مدل های مختلف آتاماتای خطی پرداخته شده است. در سناریوی دوم، چندین کاربر ثانویه در محیط موجود است. در این حالت می بایست تداخل بین کاربران را نیز در نظر گرفت. به همین منظور از آتاماتای یادگیر چند پاسخه (mrla) استفاده کردیم تا علاوه بر یاد گرفتن مدل ترافیکی کاربر اولیه، میزان تداخل کاربران ثانویه را کاهش دهیم. همچنین برخی کاربران ثانویه را در برخی از شیارهای زمانی با تعریف حالت کاری action/noaction و در نظر گرفتن عدالت بین آنها، بلوکه کردیم. احتمال بلوکه شدن به صورت ثابت و وفق پذیر بحث شده است و همگرایی روش پیشنهادی بررسی شده است. نتایج شبیه سازی نشان از بهبود کارایی روش پیشنهادی در گذردهی کل و نیز کاهش هزینه ی تعویض کانال دارد. همچنین، در این پایان نامه با درنظر گرفتن همکاری بین کاربران ثانویه، روش دسترسی به طیف پویا بر اساس آتاماتای یادگیر سلولی پیشنهاد شده است. روش پیشنهادی، بهبود قابل توجهی نسبت به سایر روش های موجود دارد. اما، هزینه ی بالای تعامل بین کاربران ثانویه مساله ای است که باید به آن توجه کرد.